Sugiyama sinh ra trong một gia đình samurai có truyền thống tại Kokura (nay là một phần thành phố Kitakyushu), tỉnh Fukuoka. Sau khi tốt nghiệp khóa 12 Trường Sĩ quan Lục quân (Đế quốc Nhật Bản), ông được phong hàm trung úy năm 1901 và từng tham gia Chiến tranh Nga-Nhật.[1]

Sau khi tốt nghiệp khóa 22 Đại học Lục quân (Đế quốc Nhật Bản) năm 1910 và phục vụ trong Bộ tổng tham mưu Lục quân, Sugiyama được đưa đi làm tùy viên quân sự tại Philippines và Singapore năm 1912. Năm 1913, ông được phong quân hàm thiếu tá và được bổ nhiệm làm tùy viên quân sự tại Ấn Độ thuộc Anh. Trong thời gian đó, ông cũng từng đi thăm nước Đức và làm quen với kinh nghiệm sử dụng máy bay trong chiến đấu của Chiến tranh thế giới thứ nhất.

Sau khi trở về, Sugiyama được phong hàm trung tướng và làm chỉ huy tiểu đoàn không quân số 2 vào tháng 12 năm 1918. Ông là người ủng hộ mạnh mẽ cho sự phát triển của không quân và sau khi được thăng hàm đại tá năm 1921, ông trở thành chỉ huy đầu tiên của Không lực Lục quân Đế quốc Nhật Bản năm 1922.

Tháng 5 năm 1925, Sugiyama được phong hàm thiếu tướng. Tháng 8 năm 1930, ông trở thành Thứ trưởng Bộ Lục quân với quân hàm trung tướng.[2] Ông trở lại chỉ huy Không lực Lục quân Đế quốc Nhật Bản vào tháng 3 năm 1933 và mang quân hàm đại tướng từ tháng 11 năm 1936.

Chiến tranh Trung-Nhật

Một thời gian ngắn sau Sự cố 26 tháng 2, Sugiyama trở thành Bộ trưởng Bộ chiến tranh. Dưới thời kì của ông, tình hình Mãn Châu và Trung Quốc ngày càng căng thẳng, cuối cùng dẫn đến sự kiện Lư Câu Kiều gây bùng nổ chiến tranh Trung-Nhật và quân Nhật đánh chiếm tỉnh Sơn Tây.

Sugiyama sau đó còn nắm quyền chỉ huy Phương diện quân Bắc Trung Hoa và Quân đoàn đồn trú Mông Cổ vào tháng 12 năm 1938.

Chiến tranh Thái Bình Dương

Ngày 3 tháng 9 năm 1940, Sugiyama thay thế chức vụ Tổng tham mưu trưởng Lục quân Đế quốc Nhật Bản của hoàng thân Kotohito Kan'in để trở thành một trong những nhà lãnh đạo hàng đầu của Lục quân. Ở cương vị của mình, ông luôn là người ủng hộ cho chủ trương "Nam tiến" tức là đánh chiếm các quốc gia Đông Nam Á đang là thuộc địa của các cường quốc phương Tây nhưng vẫn chủ trương đợi thời cơ thuận lợi để tấn công Liên Xô. Ông cho rằng thời cơ đó là lúc Hitler chiếm được Moskva, dự kiến vào cuối tháng 8.[3] Ngày 6 tháng 9 năm 1941, hội nghị đế chế có sự tham gia của Nhật hoàng Hirohito đã mời đại diện của hai phái Lục quân và Hải quân, trong đó Sugiyama đại diện cho Lục quân. Tại đây, ông đã đưa ra được rất nhiều những chi tiết cụ thể, những chiến dịch dự đoán về việc xâm lược Mã Lai và Philippines.[4] Tuy nhiên, trong hội nghị này, Hirohito cũng phê bình Sugiyama về lời dự đoán Chiến tranh Trung-Nhật sẽ kết thúc sớm trong vòng ba tháng đồng thời phản đối việc Sugiyama tin rằng Nhật Bản sẽ sớm đánh bại các cường quốc phương Tây.[5] Ngày 9 tháng 9, kế hoạch "Nam tiến" được bàn kĩ và ông hứa với Nhật hoàng sẽ đảm bảo yên tĩnh ở phía Bắc trong khi tiến xuống phía Nam.[6]

Sau những thắng lợi đạt được ở giai đoạn đầu của Chiến tranh Thái Bình Dương, giữa Lục quân và Hải quân Nhật lại có 2 quan điểm chiến lược khác nhau. Tổng tham mưu trưởng Lục quân Sugiyama đề nghị củng cố vững chắc Đông Nam Á và Trung Quốc, buộc Anh-Mĩ phải đưa ra các điều kiện hòa bình và giành thế chủ động cho người Nhật nếu chiến tranh còn tiếp diễn.[7] Trong khi đó, tổng tham mưu trưởng Hải quân Nagano Osami lại cho rằng cần phải liên tục tấn công để giữ kẻ địch luôn ở tư thế phòng thủ, tiến hành các chiến dịch đánh chiếm Úc, Ấn Độ, Hawaii hoặc các căn cứ quan trọng khác trên Thái Bình Dương hay Ấn Độ Dương. Cuối cùng quan điểm Hải quân đã thắng thế.

Sugiyama được phong hàm nguyên soái vào năm 1943. Sau những thất bại liên tiếp trên chiến trường, ông đã bị buộc phải từ chức Tổng tham mưu trưởng Lục quân vào ngày 21 tháng 2 năm 1944 và thủ tướng Tōjō Hideki nắm luôn chức vụ này. Sau đó, ông được bổ nhiệm vào chức vụ Tổng thanh tra Huấn luyện Quốc phòng, vẫn là một trong những chức vụ cao cấp nhất của Lục quân.

Sau khi nội các của Tōjō sụp đổ vào nửa cuối năm 1944, Sugiyama lại một lần nữa được đảm nhiệm chức Bộ trưởng Lục quân. Tháng 7 năm 1945, ông nắm quyền chỉ huy Đệ nhất tổng quân mới thành lập nhằm nhiệm vụ chống lại cuộc đổ bộ sắp tới của Đồng Minh.[8]

Sau khi Nhật Bản đầu hàng Đồng Minh, theo lệnh của Đồng Minh, Sugiyama đã hoàn tất việc chuẩn bị cho sự tan rã của Lục quân Đế quốc Nhật Bản. Ông tự sát vào ngày 12 tháng 9 năm 1945 tại văn phòng riêng bằng cách dùng súng lục tự bắn vào ngực mình bốn lần. Vợ ông cũng tự sát theo chồng tại nhà.[9] Mộ của ông được đặt tại nghĩa trang Tama, tại Fuchū, Tokyo.